Khi Ngô Đình Diệm về nước nắm quyền Thủ tướng, ông được mời giữ chức Tổng trưởng Canh nông và Cải cách Điền địa. Tuy nhiên, không lâu sau, ông nhận thấy được sự thiếu thực tâm và những mầm mống độc tài của Ngô Đình Diệm nên đã từ chức sau khi nhậm chức không bao lâu.

Tích cực trong việc vận động thống nhất các chi phái Cao Đài trong Cơ quan Cao Đài Quy Nhứt tại Tam Giáo Điện chi Minh Tân, tháng 8 năm 1955, ông được cơ bút chi phái Tiên Thiên giáng phong làm Thượng Đầu Sư.

Ông đã nhiều lần gửi thư đưa yêu sách, khuyến cáo Tổng thống Diệm thay đổi chính sách; nên bị chính quyền đương thời xem ông thuộc "thành phần chống đối".

Tháng 2 năm 1959, ông đắc cử dân biểu (đơn vị bầu cử Sài Gòn) rồi gia nhập Mặt trận Đại đoàn kết Quốc dân cùng với Nguyễn Tường Tam đối lập với chính phủ. Ngày 26 tháng 4 năm 1960, ông cùng 17 nhân sĩ ký tên vào bản tuyên cáo, về sau nổi tiếng với tên gọi "Tuyên cáo Caravelle", chỉ trích các sai lầm của chính quyền và yêu cầu Tổng thống phải cải tổ. Việc làm này càng làm ông trở thành cái gai trong mắt chính quyền. Nhân cuộc đảo chính ngày 11 tháng 11 năm 1960 thất bại, ông bị chính quyền quy tội ủng hộ đảo chính và bắt giam. Đêm 11 tháng 7 năm 1963, ông bị tòa án quân sự đặc biệt Sài Gòn kết án 8 năm cấm cố cùng với Phan Quang Đán, Vũ Hồng Khanh, Bùi Lương... Lúc tự biện hộ trước tòa, ông đã nói: "Nếu tôi có tội, thì tôi chỉ có mỗi một tội, là tội đuổi Pháp ra khỏi Sài Gòn, tội vì Dân tộc mà thôi!".

Ngày 31 tháng 7 năm 1963, ông bị đày ra Côn Đảo thụ án. Tuy nhiên, chỉ sau đó 3 tháng, một cuộc đảo chính khác nổ ra, lật đổ Ngô Đình Diệm, ông được đón về Sài Gòn.